Thời thiếu niên, ông theo học bậc Tú tài tại trường Trung học Bưởi Hà Nội. Tại đây, ông có những liên hệ đầu tiên với Ngô Gia Tự, Nguyễn Văn Cừ, tham gia bãi khóa để tang Phan Châu Trinh.

Năm 1927, ông gia nhập Việt Nam Thanh niên Cách mạng đồng chí Hội. Tháng 6 năm 1929, ông tham gia sinh hoạt với Chi bộ Cộng sản Bắc Kỳ. Tháng 1 năm 1930, ông gia nhập Đông Dương Cộng sản Đảng.

Năm 1931, ông được cử vào Sài Gòn hoạt động để gây dựng cơ sở. Tuy nhiên, tháng 3 năm 1931, ông bị chính quyền thực dân Pháp bắt và giam tại Khám Lớn Sài Gòn. Năm 1933 ông bị kết án tử hình cùng với 7 đồng chí khác. Do nhân dân Pháp đấu tranh mạnh đòi bỏ án tử hình và trả tự do cho tù chính trị ở Đông Dương, ông được giảm xuống chung thân và đày ra Côn Đảo. Trong tù, ông tiếp tục tham gia Ban Chấp hành Đảng bộ nhà tù, cùng các đảng viên lãnh đạo đấu tranh chống lại chế độ nhà tù cho tới tháng 9 năm 1945.